NVIDIA创造新技巧KVTC 内存应用量缩减20倍
NVIDIA研究人员推出一项全新技术KVTC（KV快取转换编码），能把大型语言模型（LLM）追踪对话历史的内存用量，最高缩减20倍，而且不用修改模型本身。这一突破有望解决大型语言模型长对话推理时的内存不够用问题，大大降低企业使用AI的硬件成本，同时还能把模型首次生成回应的时间，最高提速8倍。
微信小程序
微信扫一扫体验
投稿
微信公众账号
微信扫一扫加关注
顶部